Show, Don't Tell: Evaluating Spatial Cognition in Generative Pixels Rather Than LLM Text
展示而非描述:评估生成像素中的空间认知而非LLM文本
🧭 空间推理评测框架 · 生成式像素评估
Zhejiang University
提出ProVisE框架,将图像生成模型的视觉答案解析为结构化预测,实现像素级空间推理的公平评测
📌 工作参考价值(4 点)
- 对电商中需要空间理解的生成任务(如虚拟试穿、商品摆放、AR场景)有评测启发:可借鉴“协议化视觉答案”思想,将模型生成的图像通过规则解析成结构化指标(如物品位置、遮挡关系),从而量化评估生成质量。
- Agentic protocol builder 能自动为新任务生成评测协议,可迁移到广告创意生成、商品主图优化等场景,降低人工设计评测规则的成本。
- 揭示了文本推理与像素表达的互补性,在推荐系统多模态交互(如对话式推荐+视觉展示)中,可结合文本VLMs做高层推理、图像生成模型做像素级细粒度表达。
- 整体方法论对构建统一的多模态推荐评测基准有参考价值,但直接业务应用场景有限,更适合学术评测框架设计。